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Prufungsantrag gem. S 44 PatG 1st gestellt 

@ Blattern in einer Bilddatenbank und Abfrage der Bilddaten, indem eine Strukturanalyse verwendet wird 

(g) Verfahren und Apparat zum Abfragen einer Dokument- 
Bild date n bank, basierend auf einer Struktur, d. h. auf 
analytisch unterscheidbaren Mustern in den Dokument-Bii- 
dern der Datenbank. GemaB der Erfindung kann eine 
Dokumentbilddatenbank fur Dokumente mit einer bestimm- 
ten Struktur auf eine Vieifalt von Weisen durchblattert 
werden. Zum Beispiel kann ein Benutzer ein Beispiel-Doku- 
mentbild mit einem Erscheinungsbild, das dem gewunsch- 
ten Dokument ahnelt, eingeben. Alternativ kann der Benut- 
zer eine einfache Schnittstelle verwenden, um ein syntheti- 
sches Dokument bzw, kunstliches Dokument, basierend auf 
einer Auswahi weniger Kategorien festzulegen. Das synthe- 
tische Dokument wurde dann als ein Beispiel fur eine Suche 
dienen. Oder der Benutzer kann eine graphische Schnittstel- 
" le verwenden, um genauer ein Beispiel fur eine Suche 
f festzulegen. Somit liefert die Kenntnis des Benutzers von 
dem ailgemeinen Erscheinungsbild des gewunschten Doku- 
ments Oder der Dokumente die Basis fur die Suche. 
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Die vorliegende Erfindung betrifft ein Verfahren und 
einen Apparat zum Durchstdbern einer Bilddatenbank 
bzw. zum Blattern in einer Bilddatenbank und genauer 
ein Verfahren und einen Apparat zum Durchstobern 
einer Bilddatenbank bzw. zum Blattern in einer Bildda- 
tenbank, und zwar basierend auf einer bekannten Struk- 
tur bzw. bekannten Textur eines gewunschten Doku- 
ments. 

Mit der weiten Verbreitung preisgunstiger Perma- 
nent- Elektronikspeichervorrichtungen und von Scan- 
nern zum elektronischen Erfassen von Dokumentbil- 
dern bzw. Vorlagenbildern, wird die Erzeugung und 
Speicherung von groBen Dokumentbild-Datenbanken 
moglich. Mogliche Verwendungen fur derartige Bildda- 
tenbanken stellen elektronische Bibliotheken, medizini- 
sche Dokumente, Verwaltungsaufzeichnungen, Nach- 
richtenclips, Plane, Verwaltungsformulare, Handbucher, 
usw. dar. Im allgemeinen ist es nun weniger teuer, ein 
Dokument abzutasten und es auf einem elektronischen 
Speichermedium zu speichern, als das Dokument physi- 
kalisch zu speichern. 

Bei derartigen groBen Dokument-Bilddatenbanken 
ergibt sich jedoch das Problem, gewunschte Dokumente 
aus der Datenbank zu identifizieren und wiederzuge- 
winnen. Eine b.ekannte Technik zum Abfragen einer 
Vorlagendatenbank besteht darin, nach einem Text- 
string bzw. nach einer Textzeichenkette oder einer 
Kombination von Textstrings bzw. Textzeichenketten 
zu suchen, die wahrscheinlich in einem gewunschten 
Dokument gefunden werden. Was das abgetastete Do- 
kumente angeht, beruht diese Technik auf einer genau- 
en optischen Zeichenerkennung (OCR bzw. "optical 
character recognition"), die nicht irnmer machbar sein 
kann. Ebenso ist es haufig schwierig, einen Textstring 
oder Strings zu erzeugen, die sowohl in einem ge- 
wunschten Dokument gefunden werden als auch im aus- 
reichenden MaBe das gewunschte Dokument von ande- 
ren unterscheiden. 

Haufig weiB der Benutzer etwas daruber, wie ein ge- 
wunschtes Dokument aussieht Es ware von Vorteil, die- 
se Information beim Abfragen einer Dokument- Bildda- 
tenbank zu nutzen. 

Die vorliegende Erfindung stellt ein Verfahren und 
einen Apparat zum Abfragen einer Dokument- Bildda- 
tenbank dar, und zwar basierend auf einer Struktur bzw. 
einem inneren Aufbau und analytisch unterscheidbare 
Muster in den Dokument- Bildern der Datenbank. Ge- 
maB der Erfindung kann eine Dokument-Bilddatenbank 
nach Dokumenten mit einer bestimmten Struktur bzw. 
einem bestimmten inneren Aufbau auf eine Vielfalt von 
Weisen durchstobert bzw. durchsucht werden. Zum Bei- 
spiel kann ein Benutzer ein Beispiel-Dokumentbild ein- 
geben, das ein zu dem gewunschten Dokument ahnli- 
ches Erscheinungsbild aufweist Alternativ kann der Be- 
nutzer eine einfache Schnittstelle verwenden, um ein 
synthetisches bzw. kunstliches Dokument zu definieren, 
und zwar basierend auf der Auswahl weniger Katego- 
rien. Das synthetische Dokument wurde dann als ein 
Beispiel fur eine Suche dienen. Oder der Bediener kann 
eine graphische Schnittstelle verwenden, um genauer 
ein Beispiel fur eine Suche festzulegen. Somit stellt die 
Kenntnis des Benutzers uber das allgemeine Erschei- 
nungsbild des gewunschten Dokuments oder der Doku- 
mente (und insbesondere deren Umwandlung in physi- 
kalische Werte bzw. elektrische Signale, die von der 
Datenbank bzw. einem Computer verarbeitbar sind,) die 



Grundlage fur die Suche dar. 

Wenn einmal der Benutzer die Suche gestartet hat, 
wird ein Dokumentbild oder werden mehrere Doku- 
mentbilder ausgewahlt, und zwar basierend auf der 
5 Ahnlichkeit ihrer Struktur oder ihres inneren Aufbaus 
mit dem Beispiel. Diese Bilder konnen in einer Pikto- 
grammgestalt bzw. in einer Ikongestalt auf einem Pa- 
pier dargestellt oder gedruckt werden. Der Benutzer 
kann ein weiteres Durchblattern bzw. Durchstobern 

to ausldsen, indem ein dargestelltes Dokument als ein 
Suchschlussel ftir eine neue Suche ausgewahlt wird Bei 
einer Ausfuhrungsform werden Dokumentbilder in der 
Datenbank zusammen gruppiert bzw. geclustert und 
wenn eine Abfrage durchgefuhrt wird, werden Darstel- 

15 lungen fiir die Gruppen bzw. Cluster dargestellt, die 
Bilder beinhalten, die bezuglich ihrer Struktur dem 
Suchschlussel ahneln. 

Bei einer Ausfuhrungsform werden Seiten mit einem 
ahniichen Erscheinungsbild identifiziert, wenn der Be- 

20 nutzer die Anzeige mehrerer Seiten eines Dokuments 
verlangt Bezuglich der Seiten, die dahingehend identifi- 
ziert wurden, daB sie ein ahnliches Erscheinungsbild auf- 
weisen, werden Bilder der Seiten einander uberlagert 
und leicht versetzt dargestellt 

25 In Obereinstimmung mit einem Aspekt der Erfindung 
liegt die Grundlage fur Dokument-Bildsuchvorgange in 
einer Analyse der Struktur bzw. des inneren Aufbaus 
eines Bildes. Ein Merkmalsvektor wird fur jedes Bild 
extrahiert Eine Ahnlichkeit zwischen Bildern wird auf 

30 einer Abstandsmetrik gegrundet, wie sie fiir die Merk- 
malsvektoren paBt bzw. gilt Bei der bevorzugten Aus- 
fuhrungsform weist der Merkmalsvektor 80 Elemente 
auf und griindet auf vier unterschiedlichen Arten'und 
Weisen der Bildverarbeitung. Die ersten 20 Elemente 

35 basieren auf einem Histogramm von verbundenen 
KomponentengroBen bzw. Verbindungskomponenten- 
GroBen ("connected component sizes'*), und zwar durch- 
gehend fur das Bild. Verbundene Komponenten ("con- 
nected components") werden im folgenden auch Verbin- 

40 dungskomponenten genannt Die zweiten 20^ Elemente 
werden aus einer Obersicht bzw. Vermessung^von Inter- 
essenpunkten bzw. Punkten von Interesse iiber das gan- 
ze Dokument bzw. durchgehend bezuglich des Doku- 
ments erhalten. Die dritten 20 Elemente werden von 

45 einem vertikalen Projektionshistogramm verbundener 
Bestandteile bzw. Komponenten erhalten. Der letzte 
Satz von 20 Elementen wird erhalten, indem das Doku- 
ment in 20 Zellen aufgeteilt wird und die verbundenen 
Bestandteile bzw. Komponenten in jeder Zelle aufsum- 

50 miert werden. 

Bei einer Ausfuhrungsform werden Suchverfahren, 
basierend auf einer Kombination von Bildstruktur und 
Text verwendet, um eine Bilddatenbank abzufragen, 
und zwar dort, wo eine optische Zeichenerkennung 

55 (OCR) mit den Bildern der Datenbank durchgefuhrt 
wurde. Durch die Kombination der beiden Datentypen 
kann Text verwendet werden, um nach den OCR-Daten, 
die dem Bild zugeordnet sind, zu suchen, und die Struk- 
turdaten konnen fiir eine Suche, basierend auf dem all- 

60 gemeinen Erscheinungsbild des Bildes verwendet wer- 
den. 

Die vorliegende Anmeldung basiert auf der priori- 
tatsbegriindenden US-Patentanmeidung 
S.N.08/609,641, angemeldet am 1. Marz 1996, deren Of- 
65 fenbarung hiermit mit aufgenommen wird. 

Ein weiteres Verstandnis der Natur und der Vorteile 
der Erfmdungen hierin kann realisiert werden, indem 
auf die verbleibenden Abschnitte der Beschreibung und 
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der beigefiigten Zeichnungen bezuggenommen wird 
Dabei konnen Merkmale verschiedener Ausfuhrungs- 
formen untereinander kombiniert werden. 

Fig, 1 zeigt ein Computersystem, das zur Realisierung 
der vorliegenden Erfindung geeignet ist 

Fig. 2 zeigt ein FluBdiagramm auf obersten Niveau, 
das dem Betrieb des Dokument-Bilddatenbank-Abfra- 
gesystems der vorliegenden Erfindung beschreibt 

Fig. 3 zeigt einen Benutzer-SchnittsteUen-BUdschirm 
zum Entwickeln eines synthetischen Dokumentenbildes, 
basierend auf Kategorieselektionen als ein Beispiel, um 
eine Suche in Obereinstimmung mit einer Ausfuhrungs- 
fonn der vorliegenden Erfindung zu starten. 

Fig; 4 zeigt einen Benutzer-Schnittstellen-Bildschirm, 
bei dem ein Benutzer graphische Werkzeuge verwen- 
den kann, um ein Beispiel-Dokumentenbild zu entwik- 
keln, um eine Suche in Obereinstimmung mit einer Aus- 
fiihrungsform der vorliegenden Erfindung zu starten. 

Fig. 5 zeigt, wie Suchergebnisse fur eine Bilddaten- 
bank mit Clustern bzw. Gruppen in Obereinstimmung 
mit einer Ausfiihrungsform der vorliegenden Erfindung 
gezeigt werden konnen* 

Fig. 6 zeigt, wie Bilder mehrerer Seiten eines Berichts 
in Obereinstimmung mit einer Ausfiihrungsform der 
vorliegenden Erfindung gezeigt werden konnen. 

Fig. 7 A zeigt die Elemente eines Merkmalvektors, der 
aus einem-Dokumentbild in Obereinstimmung mit einer 
Ausfiihrungsform der vorliegenden Erfindung extra- 
hiert wird 

Fig. 7B zeigt ein verbundenes Komponenten-Gro- 
Ben-Histogramm, wie es innerhalb eines Merkmalvek- 
tors in Obereinstimmung mit einer Ausfiihrungsform 
der vorliegenden Erfindung eingebracht werden wiirde. 

Fig. 7C zeigt, wie Interessen-Operator-Information, 
wie sie innerhalb eines Merkmalvektors in Obereinstim- 
mung mit einer Ausfiihrungsform der vorliegenden Er- 
findung eingebaut bzw. eingebunden werden wiirde, ar- 
beitet, um Unterscheidungen zwischen Dokumenten 
mit unterschiedlichen Font-GrdBen durchzufuhren. 

Fig. 7D zeigt ein Vertikalprojektions-Verbindungs- 
komponentenhistogramm, wie es innerhalb eines Merk- 
malvektors in Obereinstimmung mit einer Ausfuhrungs- 
form der vorliegenden Erfindung eingebracht bzw. ein- 
gebunden werden wiirde. 

Fig. 7E zeigt, wie die Verteilung von verbundenen 
Komponenten bzw. Verbindungskomponenten unter 
Gitterzellen, wie sie innerhalb eines Merkmalvektors in 
Obereinstimmung mit einer Ausfiihrungsform der vor- 
liegenden Erfindung inkorporiert werden wiirden, ar- 
beitet, um unter Dokiimenten mit unterschiedlichen An- 
ordnungen von Komponenten zu unterscheiden. 

Fig. 8 zeigt ein representatives Beispiel-Dokumen- 
tenbild, das zur Suche in Obereinstimmung mit der vor- 
liegenden Erfindung verwendet wird, und Suchergeb- 
nisse. 

System, das zur Implementation der vorliegenden 
Erfindung geeignet ist 

Fig. 1 zeigt ein Basis-Untersystem eines Computersy- 
stems, das zur Verwendung mit der vorliegenden Erfin- 
dung geeignet ist In Fig. 1 beinhaltet das Computersy- 
stem 10 einen Bus 12, der Haupt-Untersysteme, wie zum 
Beispiel eine zentrale Verarbeitungseinheit bzw. einen 
Hauptprozessor 14, einen Systemspeicher 16, eine Ein- 
gabe/Ausgabe- (I/O bzw. "input/output") Steuereinrich- 
tung 18, eine externe Vorrichtung, wie zum Beispiel ei- 
nen Drucker 20 uber einen Parailelport 22, einen Anzei- 



gebildschirm 24 uber einen Anzeigeadapter 26, einen 
seriellen Port 28, eine Tastatur 30, ein Festpiattenlauf- 
werk 32 und ein Diskettenlaufwerk 33, das arbeitet, um 
eine Diskette 33A aufzunehmen, verbindet Viele andere 
5 Vorrichtungen konnen angeschlossen werden, wie zum 
Beispiel eine Abtastvorrichtung 34, das uber eine exter- 
ne Schnittsteile 36 angeschlossen ist, eine Maus 38, die 
Qber ein serielles Port 28 angeschlossen ist, und einen 
Beriihnmgsbildschirm bzw. Touchscreen 40, der direkt 

io angeschlossen ist Viele andere Vorrichtungen und Un- 
tersysteme (nicht gezeigt) konnen auf eine ahnliche Art 
und Weise angeschlossen werden. Ebenso ist es nicht fiir 
alle in der Fig. 1 gezeigten Vorrichtungen erforderlich, 
daB sie vorhanden sind um die voriiegende Erfindung in 

15 die Praxis umzusetzen, wie im folgenden diskutiert wird 
Die Vorrichtungen und Untersysteme konnen miteinan- 
der auf eine Art und Weise verbunden werden, die von 
jener verschieden ist, die in Fig. 1 gezeigt ist Der Be- 
trieb eines Computersystems, wie zum Beispiel jener, 

20 der in Fig. 1 gezeigt ist, ist in der Fachwelt gut bekannt 
und wird in der vorliegenden Anmeldung nicht detail- 
liert diskutiert. Ein Quellkode, um die voriiegende Erfin- 
dung zu realisieren, kann betriebsmafiig in einem Sy- 
stemspeicher 16 abgelegt oder auf einem Speichermedi- 

25 um, wie zum Beispiel einer Festplatte oder einer Disket- 
te 33 A gespeichert werden. Eine Bilddatenbank kann 
ebenso auf einer Festplatte 32 gespeichert werden. 

Ein Anzeigebildschirm 24 ahnelt jenem, der bei Stan- 
dardcomputem, wie zum Beispiel Personalcomputern 

30 oder Workstations verwendet wird, die einen Kathoi 
denstrahlrohren(CRT)-Bildschirm oder einen Monitor^ 
verwenden. Verschiedene Formen von Bediener-Einga^r 
bevorrichtungen konnen zusammen mit der vorliegenv 
den Erfindung verwendet werden. Zum Beispiel eine. 

35 Maus-Eingabevorrichtung, die es einem Benutzer er=. 
laubt, einen Zeiger, der auf einem Anzeigebildschirm^. 
dargestellt wird, in Obereinstimmung mit den Handbe=x 
we gun gen eines Benutzers zu bewegen, stellt eine Stan^r 
dard-Benutzereingabevorrichtung dar. Eine Maus bein- 

40 haltet ublicherweise eine oder mehrere Tasten auf sei- 
ner Oberflache, so daB der Benutzer auf ein Objekt auf 
dem Bildschirm zeigen kann, indem die Maus bewegt 
wird und das Objekt ausgewahlt wird, oder indem auf 
andere Weise das Objekt aktiviert wird, indem eine oder 

45 mehrere Tasten auf der Maus gedriickt werden. Alter- 
nativ erlaubt ein BerUhrungsbildschirm bzw. ein 
Touchscreen einen Benutzer, auf Objekte auf dem Bild- 
schirm zu zeigen, um ein Objekt auszuwahlen, und um 
das ausgewahlte Objekt zu bewegen, indem auf eine 

50 zweite Position auf dem Bildschirm gezeigt wird. Ver- 
schiedene Tasten und Steuerungen konnen auf dem 
Bildschirm gezeigt werden, um sie zu aktivieren, indem 
die Maus oder der Touchscreen verwendet wird. Bei 
einem Festplattenlaufwerk 32 kann es sich um ein Fest- 

55 plattenlaufwerk oder um ein optisches Laufwerk oder 
um irgendein Medium handeln, das zum Speichern einer 
Datenbank von Dokumentenbildern geeignet ist. 
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Oberblick uber das Suchverfahren 



Die voriiegende Erfindung stellt ein Dokument-Bild- 
datenbank-Suchsystem bereit, das auf der Verwendung 
von Beispieldokumenten bzw. als Beispiel dienenden 
Dokumente als Schliissel fiir die Suche basiert Durch 
65 Wechselwirkung mit dem System der vorliegenden Er- 
findung auf eine einer Anzahl von Weisen entwickelt 
der Benutzer ein Beispielbild Vorzugsweise findet das 
System, basierend auf einer Struktur des Beispielbildes 
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eine oder mehrere Obereinstimmungen und zeigt sie als noch eine SicherheitsmaBnahme bereitstellt Im Gegen- 
/Suchergebnisse an. Der Benutzer kann darin ein liber- satz dazu konnen die Schlusselwdrter, die gemaB dem 
einstimmendes Bild als einen Schlussel fiir eine weitere Stand der Technik unverschlusselt geblieben sind, leicht 
Suche in der Datenbank auswahlen. verstanden werden, wodurch die Sicherheit gef ahrdet 

Fig. 2 zeigt ein FluBdiagramm auf oberstem Niveau, 5 ist 
das dem Betrieb des Dokument-Bilddatenbank-Abfra- Bei einer verwandten Ausfuhrungsform beinhaltet 
gesystems der vorliegenden Erfindung beschreibt Im die Bilddatenbank Dokumentenbilder in einer kompri- 
Schritt 202 wird ein Beispielbiid entwickelt Zum Bei- mierten Form, wahrend die Merkmalsinformation, die 
spiel kann der Benutzer ein bekanntes Beispielbiid aus fur die Suche verwendet wird, nicht komprimiert ist 
einem Diskettenlaufwerk 32 wiederfinden. Oder der Be- 10 Wenn gewiinschte Dokumentenbilder identifiziert wer- 
nutzer kann ein Bild einscannen, indem eine Abtastvor- den, werden sie zur Anzeige dekomprimiert 
richtung 34 verwendet wird Andere Techniken zum 

Entwickeln eines Beispielbildes werden unter Bezug- Benutzerschnittstellen zum Entwickeln eines 

nahme auf Fig. 3 und 4 beschrieben. Beispielbildes 

Das Beispielbiid, das im Schritt 202 entwickelt wird, 15 
dient als Grundlage fur die Suche. Die Suche beruht auf Fig. 3 zeigt einen Benutzerschnittstellenbildschirm 
einem Vergleich von Bildmerkmalen, wie sie iiber Berei- 300 zum Entwickeln eines synthetischen Dokumentbil- 
che des Dokuments gewonnen bzw. berechnet werden- des, basierend auf Kategorieselektionen als ein Beispiel, 
Die Wirkung liegt darin, daB Dokumentbilder gefunden um eine Suche in Obereinstimmung mit einer Ausfuh- 
werden, die ein zu dem Dokumentbild ahnliches allge- 20 rungsform der vorliegenden Erfindung zu starten. Ein 
meines Erscheinungsbild aufweisen. Dementsprechend BenutzerscluiittsteUenbtidschirm 300 kann auf einem 
wird dem Schritt 204 eine Bildmerkmalsinformation Touchscreen 40 realisiert werden, wobei der Benutzer 
uber das Beispiel-Dokumentbild erhalten. Vorzugswei- Selektionen vornimmt, indem die Auswahl von Katego- 
se nimmt diese Bildmerkmalsinformation die Gestalt ei- rien spezifiziert wird, indem die vielfaltigen angezeigten 
nes Bildmerkmalvektors ein, dessen Zusammensetzung 25 Tasten bzw. Schaltflachen beruhrt werden. Alternativ 
unter Bezugnahme auf die Fig. 7 A— 7E diskutiert wird. kann eine Maus oder eine andere vergleichbare Einga- 

Die Datenbasis beinhaltet vorzugsweise auf ahnliche bevorrichtung verwendet werden, um die verschiede- 
Weise erhaltene Bildmerkmalsinformationen fur die nen Kategorien auszuwahlen. 

Datenbankbilder. Im Schritt 206 wird die Bildmerkmals- Eine erste Spake 302 von Schaltflachen, die den Titel 
information, die aus dem Beispiel-Dokumentenbild er- 30 "Struktur" bzw. Textur" tragt, ermogiicht es dem Benut- 
halten wirjd, als ein Schlussel fiir eine Suche in der Da- zer einen Dokumententyp auszuwahlen. Es werden 
tenbank verwendet Bei der bevorzugten Ausfiihrungs- Schaltflachen bzw. Tasten fur "Zeitung" 304, "Geschafts- 
form, bei xier die Bildmerkmalsinformation ein Merk- brief 306, "Journal/Magazin" 308, "Katalog/Broschiire" 
malsvektor ist, wird vorzugsweise eine euklidische Ab- 310 und "Handgeschriebenes w 312 bereitgestellt Der 
standsmetrik verwendet, um Dokumentenbilder zu fin- 35 Benutzer wahlt den Dokumententyp bezuglich der Do- 
den, die dem Beispiel ahnlich sind. Alternativ kann ein kumente die er/sie sucht 

Mahalanobis-Abstand, ein Hausdorf f-Abstand oder ein Eine zweite Spalte 314 von Schaltflachen bzw. Tasten, 
gewichtetes Obereinstimmungsschema verwendet wer- die den Titel "Layout" tragt, erlaubt es dem Bediener, die 
den, um ahnliche Dokumentenbilder zu finden. Bei einer Anzahl von Spalten von Text auszuwahlen, die in den 
Ausfuhrungsform nutzt das Suchverfahren den Vorteil 40 Dokumenten gefunden werden, nach denen er/sie sucht 
einer Gruppierung bzw. einer Clusterbildung in der Schaltflachen werden fur eine Spalte 316, fur zwei Spal- 
Bilddatenbank, um Clusterknoten zu finden, die Punkte ten 318 und fur drei Spalten 320 bereitgestellt 
darstellen, die in der Nahe des Beispielbildes in dem Eine dritte Spalte 322 von Schaltflachen bzw. Tasten, 
Bildmerkmal-Vektorraum liegen. die den Titel "graphische Gestaltung* tragt, erlaubt es 

Im Schritt 208 werden ahnliche Dokumentbilder dar- 45 dem Benutzer die relative Anordnung eines Dokumen- 
gestellt Bei einer Ausfuhrungsform werden die drei Bil- tentitels, von Text und eines graphischen Bildes auszu- 
der in der Datenbank, die am ahnlichsten sind, darge- wahlen, wie sie in einem gewunschten Suchergebnis ge- 
stellt Alternativ werden Piktogramme bzw. Ikons dar- funden werden wiirde. Jede Schaltflache zeigt eine mog- 
gestellt, die Cluster bzw. Gruppen darstellen, die Bilder liche Anordnung. Eine Schaltflache 324 zeigt einen Titel 
mit ahnlichen Charakteristiken enthalten. 50 326, der sich oberhalb eines graphischen Bildes 328 und 

Im Schritt 210 kann der Benutzer eines der dargestell- eines Textes 330 befindet Eine Schaltflache 338 zeigt 
ten Dokumentbilder oder Clusterpiktogramme als ei- einen Titel 340 oberhalb eines graphischen Bildes 342. 
nen Schlussel fur die weitere Suche wahlen. Das System Eine Schaltflache 344 zeigt ein graphisches Bild 346 in 
nutzt dann das ausgewahlte Bild oder das Clusterpikto- der Nahe des Textes 348. . t 

gramm als ein neues Beispiel-Dokumentenbild und 55 Indem eine Auswahl aus jeder der drei Spalten ge- 
kehrt zum Schritt 206 zuruck. troffen wird, kann der Benutzer schnell das allgemeine 

Bei einer Ausfuhrungsform beinhaltet die Bilddaten- Erscheinungsbild des gewunschten Dokuments oder der 
bank Dokumentenbilder in verschlusselter Form. Die gewunschten Dokumente ubermitteln. Nachdem der 
Merkmalsinformation, die verwendet wird, um zu su- Benutzer seine bzw. ihre Selektionen gemacht hat star- 
chen, ist jedoch unverschlusselt Wenn gewiinschte Do- 60 tet die Aktivierung einer "Finde w -Schaltflache 350 eine 
kumentenbilder identifiziert sind, werden sie fiir die An- Suche, die auf einer Bildmerkmalinformation basiert, die 
zeige entschliisselt GemaB dem Stand der Technik wer- den Selektionen des Benutzers entspricht Diese Selek- 
den verschliasselte Dokumentendatenbanken durch- tionen des Benutzers konnen als derartige verstanden 
sucht, indem unverschlusselte Schlusselwort-Informa- werden, die ein Beispiel-Dokumentenbild spezifizieren, 
tion verwendet wird Der Losungsansatz, der durch die 65 das als ein Schlussel fur die Suche in derselben Art und 
vorliegende Erfindung bereitgestellt wird, ist dahinge- Weise dient wie dies ein abgetastetes Bild tun wiirde. 
hend vorteilhaft, daB die unverschlusselte Bildmerk- Naturlich sind die verschiedenen Kategorien und die 
malsinformation nicht leicht verstandlich ist und immer Auswahl, die in Fig. 4 gezeigt ist nur beispielhaft 
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Fig. 4 zeigt eine vereinfachte Darstellung eines Be- 
nutzerschnittstellenbildschirms 400, bei dem ein Benut- 
zer graphische Werkzeuge verwenden kann, urn ein Bei- 
spiel-Dokumentbild zu entwickeln, urn eine Suche in 
ubereinstimmung mit einer Ausfuhrungsform der vor- 
liegenden Erfindung zu starten. Ein Benutzerschriittstel- 
lenbildschirm 400 bietet mehr Flexibilitat bei der Spezi- 
fizierung eines Beispielbildes, als das System, das unter 
Bezugnahme auf Fig. 3 beschrieben ist 

Der Benutzer folgt einer Prozedur entlang der Rute, 
die er bei typischen computerunterstutzten Zeichenpa- 
keten folgen wurde. Der Benutzer wahk einen Doku- 
mentkomponententyp, wie zum Beispiel eine Kopfreile, 
Autor,Titel f Hauptkorper, FuBnote, Bild etc, indem eine 
Palette 402 verwendet wird. Eine Palette 404 wird ver- 
wendet, urn eine FontgroBe bzw. eine Schriftzeichen- 
satzgrdBe fur-Textkomponenten zu spezifizieren und 
um zwischen Strichzeichnungs- und Halbtonbildern fur 
Bildkomponenten zu unterscheiden. Die Auswahl einer 
Dokumentkomponente kann die Verwendung einer 
Maus 38, um einen Zeiger uber den relevanten Paletten- 
abschnitt zu positionieren, das Niederdriicken einer Ta- 
ste auf der Maus 38, das Positionieren des Zeigers bei 
einem gewunschten Punkt innerhaib eines Dokumen- 
tenbildes 406 und das erneute Niederdriicken der Taste 
beinhalten. Die GroBe und Position der Dokumenten- 
komponente kann dann justiert werden, indem Techni- 
ken, die fur computerunterstutzte Zeichenpakete ty- 
pisch sind, verwendet werden. 

Zahlreiche Variationen sind moglich bei dieser Benut- 
zerschnittstelle. Um dem Benutzer eine Riickwirkung 
bzw. eine Systemreaktion bereitzustellen, kann das Sy- 
stem einen aktueilen Text oder Grafikbilder in den be- 
zeichneten Positionen innerhaib des Dokumentenbildes 
406 darstellen. Ebenso kann der Benutzer die Dokumen- 
tenstruktur mit groBerer Genauigkeit spezifizieren, in- 
dem die FontgroBe oder der Typenstil der Textbereiche 
des Dokumentenbildes spezifiziert wird. 

Nach einer Reihe von Interaktionen bzw. Wechsel- 
wirkungen mit dem Benutzerschnittstellenbildschirm. 
400, ergibt sich ein Bild, wie zum Beispiel ein Dokumen- 
tenbild 406 und dieses Bild ist fiir eine Verwendung als 
ein Beispielbild fur eine Suche verfugbar. Eine symboli- 
sche Darstellung 408 zeigt die Ergebnisse einer Suche, 
die auf einem Beispielbild 406 basiert 

In Obereinstimmung mit einer Ausfuhrungsform der 
vorliegenden Erfindung wird eine Textabf rage mit einer 
Struktursuche kombiniert Eine Textabfrage wurde 
durch die Entwicklung eines Beispielbildes mittels ir- 
gendeiner Technik, die eine der oben beschriebenen be- 
inhaltet, formuliert werden. Eine Textabfrage wurde ei- 
ne oder mehrere Text-Zeichenketten bzw. Text-Strings 
beinhalten, die bei einem gewunschten Dokument ge- 
funden werden wurden. Die Suchergebnisse wurden auf 
Bilder beschrankt werden, die die Kriterien von sowohi 
der Textabfrage als auch der Textsuche erfullen. Diese 
besondere Abfragetechnik ist naturlich auf Bilddaten- 
banken beschrankt, fiir die OCR-Ergebnisse verfugbar 
sind- Als erstes wurden Dokumente mit Bilder wieder- 
gefunden werden, die das gewunschte Muster an Text- 
Strings beinhalten. Die wiedergewonnenen Bilder wer- 
den dann nach Bildern durchsucht, die eine Struktur 
aufweisen, die der spezifizierten ahnlich ist 

Alternativ wird eine Bildstruktur verwendet, um die 
Ergebnisse zu organisieren, die durch eine Textabfrage 
wiedergegeben werden. Als erstes werden Dokumen- 
tenbilder, die das gewunschte Muster an Text-Strings 
beinhalten, wiedergewonnen. Cluster bzw. Gruppen 
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von Dokumenten mit ahnlichen Strukturen werden 
dann zusammen gruppiert Diese Gruppen von Doku- 
menten werden dem Benutzer angezeigt, indem zum 
Beispiel eine Overlay-Technik verwendet wird, die fru- 
her beschrieben wurde. Diese Technik stellt einen einfa- 
chen Weg bereit, um zwischen Dokumenten von unter- 
schiedlichen Quellen Unterscheidungen zu treffen. Man 
betrachtet zum Beispiel eine Datenbank, die Bilder von 
Zeichnungen und Artikeln wissenschaftlicher Journale 
beinhaltet Eine Textabfrage kann Dokumente von bei- 
den Typen von Quellen wiedergeben. Jedoch kann der 
Benutzer nur in den Ergebnissen von einer von ihnen 
interessiert sein. Die Bildstruktur-Clusterbildung stellt 
ein Verfahren fiir einen Benutzer bereit, um schnell Zei- 
tungsartikel von Artikeln wissenschaftlicher Journale zu 
unterscheiden. 

Suchergebnisanzeige 

Fig. 5 zeigt, wie Suchergebnisse fiir eine geclusterte 
Bilddatenbank bzw. eine gruppierte Bilddatenbank in 
Obereinstimmimg mit einer Ausftihrungsform der vor- 
liegenden Erfindung dargestellt werden kann. Eine Bild- 
datenbank mit Clustera ist eine, wo Bilder in einer hier- 
archischen Struktur gemaB ihrer Position in dem Raum 
zusammen gruppiert werden, der durch den Bildmerk- 
malsvektor festgelegt ist Die Datenbasis wird in eine 
oder mehrere Gruppen aufgeteilt Jede Gruppe kann 
wiederum aus einer oder mehreren Untergruppen be- 
stehen. Eine Beschreibung der Ciusterbildung kann in: 
Duda & Hart, "Pattern Classification & Scene Analysis^ 
(John Wiley & Sons 1973), deren Inhalt hiermit durch^ 
Bezugnahme aufgenommen wird. .? 

Falls es ein einziges Hierarchieniveau gibt, werden? 
bei einer Abfrage alle Bilder in dem Cluster, die dem* 
Beispieldokument am nachsten sind, in dem Bildmerk-^ 
mals-Vektorraum zmiickgegeben. Fig. 5 zeigt die Er-£* 
gebnisse einer Durchblatterungssuche, die in dem fCon-£ 
text bzw. im Zusammenhang einer Vielfach- Niveau--' 
Hierarchie von Clustera dargestellt sind. Das Niveau 
500 zeigt Piktogramme, die Clusterkno ten darstellen. 
Der Benutzer steigt in der Hierarchie weiter ab, indem 
eines der Piktogramme als ein Schliissel fiir die weitere 
Suche ausgewahlt wird. SchlieBlich kann der Benutzer 
ein Blatt-Cluster ("leaf cluster 7 *) erreichen, dh. eine 
Gruppe von tatsachlichen Bildern im Gegensatz zu Clu- 
ster-Knoten. Diese Bilder werden dann dargestellt 

Ein Weg der Realisierung der auf Cluster basierenden 
Suche ist es, die Clusters truktur jedesmal neu zu berech- 
nen, wenn eine Abfrage vorgelegt bzw. gefordert wird 
Eine andere Art und Weise der Realisierung der auf 
Cluster basierenden Suche ist es, die Clusterstruktur vor 
der Suche zu berechnen, indem vorzugsweise Struktur- 
information verwendet wird Der zuvor beschriebene 
SuchprozeB gleicht dann im wesentlichen der Naviga- 
tion durch einen Baum. 

Fig. 6 zeigt eine verbesserte Anzeige fur Dokumente 
mit mehreren Seiten in Obereinstimmung mit einer 
Ausfuhrungsform der vorliegenden Erfindung. Haufig 
stellt ein gewunschtes Dokumentbild eine Seite einer 
Bilddatenbank dar. Zum Beispiel sind in der gutbekann- 
ten Berkeley-Bilddatenbank Reports bzw. Berichte von 
50 Seiten ublich. Viele Seiten dieser Reports sind nur 
Text und neigen dazu, ahnliche Strukturmerkmale auf- 
zuzeigen, was ein Wiederfinden schwierig macht Die 
Seiten, die die interessantesten Merkmale fur den Be- 
nutzer fur das Durchblattern bzw. Durchstobern bereit- 
stellen, sind die Titelseite, die Seite mit der Inhaltsanga- 
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be, Diagramme, Figuren eta Diese stellen ebenso die nentengroBebestimmtwird 

Seiten dar, die die besten Merkmale bereitstellen, von Horizontale und vertikale Achsen 712 und 714 des 

denen aus weitere Abfragen der Datenbank vorgenonv Histograjnms werden vorzugsweise zu einer logarithmi- 

men werden konnen. schen Skale normalisiert Weiter konnte man zusatzlich 

Vorzugsweise erscheint ein Dokument mit mehreren 5 noch eine Gewichtung mit dem Histogrammbins vor- 

Seiten zu Beginn als ein einziges Bild, wenn ein Sucher- nehmen. Ein Plot 716 zeigt das Histogramm fur eine 

gebnis dargestellt wird Jedoch kann der Benutzer be- symbolische Seite bzw. representative Seite eines Ma- 

wirken, daB das gesamte Dokument erscheint, indem gazins. Ein Plot 718 zeigt das Histogramm fur eine sym- 

dieses Bild ausgewahlt wird. Eine Anzeige 602 zeigt die bolische bzw. representative Seite eines technischen 

Suchergebnisse einschlieBlich der mehreren Seiten 606 10 Journals. Wie man sehen kann, ist die Information von 

desselben Reports, die ein SLhnliches Erscheinungsbild diesem Histogramm niitzlich, um zwischen verschiede- 

aufweisen. Man kann erkennen, daB fur Reports mit nenTypenvon Dokumentenzuunterscheiden. 

Hunderteri von Seiten die Anzeige bald mit sich wieder- Die zweite Gruppe 704 von 20 Merkmalvektorele- 

holenden Bildern uberhauft ist Eine verbesserte Dar- menten basiert auf einer Interessenpunktinformation. 

stellung 604 zeigt mehrere Seiten 606 desselben Rep- 15 Interessenpunkte sind Pixel innerhalb eines Bildes, die 

orts, wobei dessen Bilder mit einem leichten Versatz innerhalb von Gebieten liegen, die unterschiedliche 

von Seite zu Seite iiberlagert sind Eine verbesserte An- bzw. zu unterscheidende Merkmale aufweisen. Jeder In- 

zeige 604 zeigt eine erheblich geringere Oberhaufung. teressenpunkt weist einen identifizierten bzw. erkann- 

Um die verbesserte Darstellung zu erreichen, wenn ten Interessenpegel auf. In der Fachwelt ist ebenso be- 

ein Report mit mehreren Seiten dargestellt werden soli, 20 kannt, daB Interessenpunkte ("interest points") und ihre 

werden Seiten mit einem im wesentlichen gleichen Er- zugeordneten Interessenpegel ("interest levels") gefun- 

scheinungsbild identifiziert, indem ihre Seitenmerkmals- den werden, indem sogenannte Interessenoperatoren 

information verglichen wird auf die Pixel eines Bildes angewendet werden. Die be- 

Die Bilder dieser Seiten werden dann dargestellt, wo- vorzugte Ausfuhrungsform sieht einen Vorteil aus ei- 

bei ihre Bilder mit einem Offset von Seite zu Seite liber- 25 nem modifizierten Moravec-Operator, der dem ahnelt, 

lagert werden. der in der US-Patentanmeldung mit der Seriennummer 

08/527,286 "SIMULTANEOUS REGISTRATION OF 

Merkmalsvektorextraktion MULTIPLE IMAGE FRAGMENTS" beschrieben ist, 

die auf den Anmelder dieser Anmeldung uberschrieben 

Fig. 7 A zeigt die Elemente eines Merkmalvektors 30 ist und deren Inhalt hiermit durch Bezugnahme mit auf- 

700, die von einem Dokumentbild in Obereinstimmung genommenwird 

mit einer Ausfuhrungsform der vorliegenden Erfindung Fur jeden Pixel wird der modifizierte Moravec-Vari- 
extrahiert werden. Vorzugsweise beinhaltet ein Merk- anzoperator an jedem der sechs Radien von dem Pixel 
malsvektor 700 80 Elemente, die vier Gruppen von 20 aus bestimmt Fur einen gegebenen Pixel und einen Ra- 
Elementen beinhalten. Eine erste Gruppe von 702 von 35 dius stellt der Interessenpegelwert bzw. Interessenni- 
20 Elementen stellt ein Histogramm von verbundenen veauwerte die Varianz der Pixelwerte der vier Pixel dar, 
KomponentengroBen dar und wird weiter unter Bezug- die sich um einen gegebenen Radius weg„ oberhalb, un- 
nahme auf Fig. 7B diskutiert Eine zweite Gruppe 704 terhalb, links und rechts von dem gegebenen Pbcel befin- 
von 20 Elementen stellt eine Verteilung von Interesse- den. Typischerweise sind Dokumentenbilder binar und 
punkten durchgehend uber die Zellen des Dokumentbil- 40 die Pixelwerte sind entweder Null oder stellen einen 
des dar und wird weiter unter Bezugnahme auf Fig. 7C Skalenendwert bzw. einen Hochstwert dar. Die Interes- 
diskutiert Eine dritte Gruppe 706 von 20 Elementen senpegelwerte werden in drei Bins sortiert, in einen 
stellt ein Vertikalprojektions-Histogramm einer Ver- Niedriginteressenwert, einen mittleren Interessenwert 
bindungskomponentendichte dar und wird weiter unter und in einen Hochinteressenwert Andere Interessen- 
Bezugnahme auf Fig. 7D diskutiert Eine vierte Gruppe 45 operatoren konnen ebenso verwendet werden. Einen 
708 von 20 Elementen stellt eine Verteilung von Verbin- Oberblick uber Interessenoperatoren wird in Yan "In- 
dungskomponenten bzw. verbundenen Komponenten terest Operators and Fast Implementation" Internatio- 
durchgehend uber Zellen des Dokuments dar und wird nal Archives of Photogrammetry and Remote Sensing, 
weiter unter Bezugnahme auf Fig. 7E diskutiert Band 27-H, Japan, Seiten 491—500, 1988, gefunden, de- 
Fig. 7B zeigt ein Verbindungskomponenten-GrdBen- 50 ren Inhalt hiermit unter Bezugnahme uneingeschrankt 
histogramm 710, wie es in einem Merkmalsvektor 702 in mit aufgenommen wird 

Obereinstimmung mit einer Ausfuhrungsform der vor- Jede Kombination aus Radius und Interessenpegelbin 

liegenden Erfindung inkorporiert werden wurde. Das wird einem Element in einer zweiten Gruppe 704 zuge- 

Histogramm 710 basiert auf einer Verbindungskompo- wiesen. Der Wert des Elements stellt eine normalisierte 

nenten-GroBeninformation, die von dem Bild erhalten 55 Darstellung der Anzahl von Pbcel mit dem Interessenpe- 

wird Eine einzige Verbindungskomponente stellt einen getwert und Radius, der dem Element zugeordnet ist, 

Satz von benachbarten schwarzen Pbceln in einem Bild dar. Da es sechs Radien gibt und drei Interessenpegel- 

dar. Um die GroBe einer Verbindungskomponente zu Wertebins, macht dies 18 von 20 Elementen in der zwei- 

bestimmen, findet die bevorzugte Ausfuhrungsform das ten Gruppe 704 aus. 

Gebiet der rechteckigen Box minimaler GroBe, das sie 60 Die zwei verbleibenden Elemente der zweiten Grup- 

umschlieBt Alle anderen Arten der Bestimmung einer pe 704 stellen spezielle Werte dar. Ein Element beinhal- 

VerbindungskomponentengroBe gehoren ebenfaJls zum tet einen Wert, der dem Verhaltnis der Anzahl von 

Umf ang der vorliegenden Erfindung. Zum Beispiel kann schwarzen Pbcel in dem Bild zu der gesamten Anzahl 

die diagonale Abmessung der umfassenden bzw. ein- von Pixel entspricht Ein anderes Element halt einen 

schlieBenden rechteckigen Box die Verbindungskompo- 65 Wert, der einer gesamten Anzahl von Schwarz-zu- 

nentengroBe sein. SchlieBlich konnte noch, wenn dies WeiB-Obergangen entspricht die bei einer horizontalen 

zusatzlich erwiinscht wird, mit dem Bild eine Filterung Abtastung durch das Bild entdeckt werden. 

durchgefuhrt werden, bevor eine Verbindungskompo- Fig. 7C stellt die Nutzlichkeit einer Interessenpunkt- 
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information fur die Unterscheidung von Dokumenten- 
biidern dar. Fig. 7C zeigt einen Buchstaben "t" 720, wp- 
bei die Interessenpegel bei verschiedenen Teilen des 
Buchstabens vorhanden sind. Ein Pixel 722 an einer Ek- 
ke weist einen hohen Interessenpegel auf. Ein Pixel 724 5 
im Inneren weist einen niedrigen Interessenpegel auf. 
Ein Pixel 726 entlang einer Kante weist einen mittleren 
Interessenpegel auf. 

Fig, 7D zeigt ein Vertikalprojektion-Verbindungs- 
komponentenhistogramm 728, wie es innerhalb eines 10 
Merkmalvektors in tJbereinstimrnung mit einer Ausf iih- 
mngsform der vorliegenden Erfindung inkorporiert 
werden wurde.XJm die dritte Gruppe 706 des Merkmal- 
vektors zu erhaiten, wird das Bild in 20 Vertikalstreifen 
aufgeteilt Jedes Element der dritten Gruppe entspricht 15 
einer Population bzw. einer Gesamtheit von Verbin- 
dungskomponenten mit einer GroBe oberhalb einer mi- 
maien Schwelle in einem bestimmten Vertikalstreifen. 
Bei einer bevorzugten Ausfiihrungsform stellt dieses 
Minimum eine Hohe und eine Breite dar t die beide gro- 20 
Ber als ein Pixel sind. Diese dritte Gruppe 706 ist beson- 
ders bei der Unterscheidung zwischen Dokumenten 
nutzlich, die eine unterschiedliche Anzahl von Spalten 
im Text aufweisea Ein erstes Dokument 730 mit einer 
einzigen Textspalte ergibt die Projektions-Histo- 25 
grammdarstellung 732. Ein zweites Dokument 734 mit 
zwei Textspalten ergibt ein Projektionshistograrnm 736. 
Wie man sehen kann, weist das Projektionshistograrnm 
732 einen Peak auf, der der einzigen Spalte entspricht, 
wohingegen das Projektionshistograrnm 736 zwei Peaks 30 
aufweist, die den zwei Spalten entsprechea 

F1g.7E zeigt; .wie die Verteilung von Verbindungs- 
komponenten zwischen Gitterzeilen, wie sie innerhalb 
eines Merkmalsvektors in Obereinstimmung mit seiner 
Ausfiihrungsform der Erfindung inkorporiert werden 35 
wurden, arbeitet, um eine Unterscheidung zwischen Do- 
kumenten mit unterschiedlichen Anordnungen von 
Komponenten zu treffen. Die vierte Gruppe 708 von 
Eiementen wird erhaiten, indem das Bild in ein 
5 x 4-FeId 738 von Zellen aufgeteilt wird und indem die 40 
Population bzw. Gesamtheit von Verbindungskompo- 
nenten oberhalb einer SchwellengroBe in jeder Zelle 
gefunden wird. Bei der bevorzugten Ausfiihrungsform 
stellt diese KomponentengroBe eine Hohe und eine 
Breite dar, die groBer als ein Pixel ist. Die Population 45 
von Verbindungskomponenten bzw. verbundenen 
Komponenten einer jeden Zelle wird dann in Bezug auf 
eine Gesamtanzahl von Verbindungskomponenten fur 
das Bild als Ganzes normalisiert Diese vierte Gruppe 
708 ist besonders bei der Unterscheidung zwischen Do- 50 
kumenten, wie zum Beispiel Dokumente 740 und 742 
nutzlich, die unterschiedliche Anordnungen von Doku- 
mentkomponenten bzw. Dokumenten- Komponenten 
aufweisea 

Die Extraktion von Bildmerkmals-Information aus 55 
Beispiel- Dokumentenbildern, die durch Kategorieselek- 
tton entwickelt wurden, wie unter Bezugnahme auf 
Fig. 3 beschrieben wurde, oder die durch eine graphi- 
sche Benutzerschnittstelle entwickelt wurden, wie unter 
Bezugnahme auf Fig. 4 beschrieben wurde, folgt einem 60 
modifizierten Verfahren bzw. einer modifizierten Pro- 
zedur. Bei dem Kategorieselektionsschema von Fig. 3 
gibt es eine beschrankte Anzahl von moglichen Bei- 
spiels-Dokumentenbildera Ein Verfahren besteht darin, 
fur jede Kombination von Kategorieselektionen ein 65 
entsprechendes aktuelles Do kumenten- Bild mit den ge- 
wahlten Charakteristiken bereitzustellea Dieses Bild 
kann dann als die Basis fur eine Bildmerkrnalsextraktion 



dienen, wie sie oben unter Bezugnahme auf die 
Fig. 7A— 7E beschrieben wurde. 

Fur Beispieibilder, die entwickelt wurden, indem die 
Techniken verwendet werden, die unter Bezugnahme 
auf Fig. 4 diskutiert wurden, besteht ein Verfahren dar- 
in, ein aktuelles Dokumenten-Bild zu konstruieren, in- 
dem Beispielbildrnaterial bzw. Abtastbildmaterial kom- 
biniert wird, das jeder ausgewahlten Komponente ent- 
spricht Bezuglich Textkomponenten wird tatsachlicher 
Text mit aufgenommen. Bezuglich Graphiken wird ein 
Abtastgraphikbild bzw. ein Beispielgraphikbild mit auf- 
genommen bzw. mit eingeschlossea Das so konstruierte 
aktuelle Dokumentenbild dient als Grundlage fur eine 
Bildmerkrnalsextraktion. 

Suchergebnisse 

Fig. 8 zeigt ein representatives Beispiel-Dokurnen- 
tenbild 802, das als ein Beispiel fur eine Suche in Ober- 
einstimmung mit der vorliegenden Erfindung verwendet 
wird, und Suchergebnisse. In dem ein Beispielbild 802 als 
der Schliissel fur eine Suche verwendet wird, werden 
Bilder 804 und 806 und 808 von einer Datenbank von 
971 Bildern einschlieBlich Journalen, Brief en, Magazi- 
nen, Broschuren bzw. Katalogen, Zeitungen, Katalogen 
und handgeschriebenen Text Das Beispielbild 802 stellt 
einen Geschaftsbrief dar und alle Suchergebnisse sind 
ebenfalls Geschaftsbriefe. Wie man sehen kann, stellt 
das Suchsystem der Erfindung Bilder bereit, die vom 
Anblick her dem Beispielbild ahneln. 

GemaB der Erfindung konnen zum Beispiel die Tech-^? 
niken der vorliegenden Erfindung ebenso auf Grauska- 
lenbilder angewendet werden, obwohl die obige Be-- 
schreibung auf binare Bilder bezugnimmt Interessen- . 
punkt-Techniken sind in der Fachwelt fur Grauskalen-— 
bilder gut bekannt Verbindungskomponenten- Informa- - 
tion kann von einem Grauskalenbild erhalten.werden,^ 
indem zuerst eine Schwellenfunktion auf die Grauska- ~ 
ienwerte angewendet wird und dann benachbarte 
Gruppen von Pixeln mit Werten oberhalb der gewahl- 
ten Schwelle gefunden werden. 

Die Suchtechniken, die oben beschrieben wurden, 
konnen ebenso auf Farb bilder mit passenden Anderun- 
gen des Bildmerkmalsvektors angewendet werden. Zum 
Beispiel kann der Bildvektor derartig ausgedehnt wer- 
den, daB er Elemente enthalt, die den Median-CMYK- 
Werten uber verschiedene bzw. vielfaltige Zellen des 
Bildes entsprechea 

Ebenso kann fur eine verbesserte Genauigkeit beim 
Vergleich eines visuellen Erscheinungsbildes von Bil- 
dern ein Merkmalsvektor mit einer viel groBeren An- 
zahl von Eiementen verwendet werden. Zum Beispiel 
kann das Dokumentenbild in 20 Zellen aufgeteilt wer- 
dea Ein 60-Eiementvektor, der den ersten drei Gruppen 
des Merkmal-Elementvektors 700 entspricht, kann dann 
fur jede Zelle berechnet werdea Die Ansammlung aller 
dieser 60-Elementvektoren wurde einen 1.200- Elernent- 
Merkmalsvektor darstellen, der als Basis zum Durchsu- 
chen und Durchblattern einer Bilddatenbank dienen 
kana 

ErfindungsgemaB kann z. B. das offenbarte Verfahren 
auch uber groBere Entfernungen durchgefuhrt werdea 
So kann nach dem Schritt des Erhaltens der Bildmerk- 
malsinformation (siehe z. B. Anspruch 1), diese Informa- 
tion an die Datenbank ubermittelt werden, die sich z. B. 
an eine entfernt gelegenen bzw. an einem anderen Ort, 
als den Beispielbilderzeugungsort bzw. Bildmerkmalsin- 
formationserzeugungsort befindet Die Datenbank sen- 
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det dann Suchergebnisse zur Weiterverarbeitung zu- 
ruck. Aus diese Art und Weise mussen nicht samtliche 
zu einem Thema gehorigen Dokumente von der Daten- 
bank zur Durchsicht Qbermittelt werden, da eine geziel- 
te Vorauswahl getroffen wurde. Dadurch wird die Da- 5 
tenubertragungszeit entscheidend verkurzt und der 
Speicherbedarf am Abfragegerat bzw. am Abfrageende 
des Gerats sinkt 

Weiter kann z. B. durch die Bereitstellung von den 
einzelnen Datenbank-Bilddokumenten zugeordneten 10 
Merkmalsvektoren, die Suche erhebiich beschleunigt 
werden, wobei die einzelnen Merkmalsvektoren z. B. als 
eine Art komprimierte, wenn auch verlustbehaftete 
Darstellung der Bilddokumente aufgef aBt werden kon- 
nen. So kann z. B. die Obermittlung von Merkmalsvek- 15 
toren in Kombination mit Datenbanken an einem oder 
an beiden Enden des Obermittlungsweges als Kompres- 
sions-/Dekompressionsverfahren zur Ubermittlung von 
Bildern auf gefaBt werden. 

Die Erfindung laBt sich beispielsweise wie folgt zu- 20 
sammenfassen: 

Verfahren und Apparat zum Abfragen einer Dokument- 
Bilddatenbank, basierend auf einer Struktur, cLh. auf 
analytisch unterscheidbaren Mustern in den Dokument- 
Bildern der Datenbank. GemaB der Erfindung kann eine 25 
Dokumentbilddatenbank fur Dokumente mit einer be- 
stimmten Struktur auf eine Vielfalt von Weisen durch- 
blattert werden. Zum Beispiel kann ein Benutzer ein 
Beispiel-Dokumentbild mit einem Erscheinungsbild, das 
dem gewunschten Dokument ahnelt, eingeben. Alterna- 30 
tiv kann der Benutzer eine einfache Schnittstelle ver- 
wenden, um ein synthetisches Dokument bzw. kiinstli- 
ches Dokument, basierend auf einer Auswahl weniger 
Kategorien festzulegen. Das synthetische Dokument 
wiirde dann als ein Beispiel fur eine Suche dienea Oder 35 
der Benutzer kann eine graphische Schnittstelle ver- 
wenden, um genauer ein Beispiel fur eine Suche festzu- 
legen. Somit liefert die Kenntnis des Benutzers von dem 
allgemeinen Erscheinungsbild des gewunschten Doku- 
ments oder der Dokumente die Basis fur die Suche. 40 

Patentanspriiche 

1. Verfahren zum Durchsuchen einer Dokument- 
Bilddatenbank, das die folgenden Schritte aufweist: 45 
ein Beispiel-Dokumentbild wird entwickelt; 

eine. Bildmerkmalsinformation uber das Beispiel- 
Dokumentbild wird erhalten; die Dokument- Bild- 
datenbank wird durchsucht, indem die Bildmerk- 
malsinfonnation verwendet wird; 50 
Suchergebnisse des Suchschrittes werden ange- 
zeigt; und 

eine Benutzereingabe wird angenommen bzw. an- 
gezeigt, die ein gegebenes Suchergebnis als einen 
Schiussel fur eine weitere Suche auswahlt 55 

2. Verfahren nach Anspruch 1, bei welchem der 
Entwicklungsschritt ein Einscannen des Beispiel- 
Dokumentbildes umfaBt 

3. Verfahren nach Anspruch 1, bei welchem der 
Entwicklungsschritt die Annahme einer Benutzer- 60 
eingabe umfaBt, die Charakteristiken des Beispiel- 
Dokumentbildes spezifiziert 

4. Verfahren nach Anspruch 1, bei welchem der 
Entwicklungsschritt den Schritt umfaBt, wonach ein. 
graphisches System betrieben wird, bei dem ein. es 
Benutzer Komponenten des Beispiel-Dokument- 
bildes spezifiziert und anordnet 

5. Verfahren nach Anspruch 1, bei welchem die 
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Bildmerkmalinformation eine Information uber In- 
teressenpunkte in dem Beispiel-Dokumentbild um- 
faBt 

6. Verfahren nach Anspruch 1, bei welchem die 
Bildmerkmalinformation eine Information uber 
verbundene Komponenten in dem Beispiel-Doku- 
mentbild umfaBt 

7. Verfahren nach Anspruch 1, bei welchem die 
Bildmerkmalinformation Information uber eine 
Verteilung von verbundenen Komponenten bzw. 
Verbindungskomponenten in dem Beispiel-Doku- 
mentbild umfaBt 

8. Verfahren nach Anspruch 1, bei welchem der 
Schritt des Erhaltens den Schritt aufweist, wonach 
ein Bildmerkmalvektor fur das Beispiel-Dokument- 
bild bestimmt wird. 

9. Verfahren nach Anspruch 8, bei welchem der 
Suchschritt den Schritt aufweist, wonach der Bild- 
merkmalvektor fur das Beispiel-Dokumentbild mit 
den Bildmerkmalvektoren von Dokument en- Bil- 
dern in der Datenbank verglichen werden. 

10. Verfahren nach Anspruch 9, das weiter den 
Schritt aufweist, wonach eine Benutzereingabe an- 
genommen wird, die einen Suchtextstring spezifi- 
ziert und wobei der Suchschritt weiter den Schritt 
aufweist, wonach der Suchtextstring mit OCR-Da- 
ten verglichen wird, die den Dokumenten-Bildern 
in der Datenbank zugeordnet sind. 

11. Verfahren nach Anspruch 1, bei welchem der 
Schritt des Anzeigens das Anzeigen von einen oder 
mehreren Dokument-Bildern umfaBt, die struktu- 
rell dem Beispiel-Dokumentbild ahneln. 

12. Verfahren nach Anspruch 1, bei welchem der 
Schritt des Anzeigens weiter das Anzeigen von Pik- 
togrammen bzw. Ikons als ein Suchergebnis um- 
faBt, die Cluster oder Gruppen von Bildern darstei- 
len, die dem Beispiel-Dokumentbild ahneln. 

13. Verfahren nach Anspruch IV bei welchem die 
Dokument- Bilddatenbank Dokumenten-Bilder in 
verschlusselter Form und Bildmerkmalinformation 
fur die verschliisselten Dokumenten-Bilder auf- 
weist 

14. Verfahren nach Anspruch 13, bei welchem das 
Suchen das Suchen der Bildmerkmalinformation 
aufweist, die in der Dokument-Bilddatenbank ge- 
speichert ist und bei welchem das Anzeigen ein 
Entschlusseln von Suchergebnissen des Suchschrit- 
tes umfaBt 

15. Verfahren nach Anspruch 1, bei welchem die 
Dokument-Bilddatenbank Dokument- Bilder in 
komprimierter Form und Bildmerkmalinformation 
fur die komprimierten Dokumenten-Bilder auf- 
weist 

16. Verfahren nach Anspruch 15, bei welchem das 
Suchen das Suchen der Bildmerkmalinformation 
aufweist, die in der Dokument-Bilddatenbank ge- 
speichert ist und bei welchem das Anzeigen ein 
Dekomprimieren von Suchergebnissen des Suchs- 
chrittes umfaBt 

17. Verfahren zum Extrahieren eines Merkmalvek- 
tors aus einem elektronisch gespeicherten Bild, das 
die folgenden Schritte aufweist: 

die GroBe von Verbindungskomponenten bzw. 
verbundenen Komponenten wird uber das ganze 
Bild gemessen; 

Interessenpegel von Pixeln werden iiber das ganze 
Bild identifiziert; 

die verbundenen Komponente bzw. Verbindungs- 
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komponenten und ihre GroBen werden iiber das 
ganze Biid identifiziert; 

ein Histogramm von verbundenen Komponenten- 
groBen bzw. VerbindungskomponentengroBen 
werden als eine erste Gruppe von Elementen des 5 
Merkmalvektors gespeichert; und 
ein Histogramm von Interessenpegeln von Pixeln 
wird als eine zweite Gruppe von Elementen des 
Merkmalvektors gespeichert 

18. Verfahren nach Anspruch 17, das weiter folgen- 10 
des aufweist: ein Histogramm einer verbundenen 
Komponentenpopulation bzw. einer Verbindungs- 
komponentenpopulation in Vertikalabschnitten 
des Bildes wird als eine dritte Gruppe von Elemen- 
ten des Merkmalvektors gespeichert 15 

19. VerfaKren nach Anspruch 17, das weiter folgen- 
des aufweist: 

die Anzahi von verbundenen Komponenten bzw. 
Verbindungskomponenten werden in einer Viel- 
zahl bzw. Anzahi von Regionen bzw. Bereichen des 20 
Bildes als eine vierte Gruppe von Elementen des 
Merkmalvektors gespeichert 

20. Verfahren zum Suchen nach einem Dokument 
in einer Dokument-Bilddatenbank, das die folgen- 
den Schritte aufweist: 25 
eine Benutzereingabe wird angenommen, die eine 
Kategorie des Dokuments spezifiziert; 

eine Benutzereingabe wird angenommen, die eine 
Anzahi von Textspalten des Dokuments spezifi- 
ziert; 30 
eine Benutzereingabe wird angenommen, die eine 
Organisation bzw. Aufbau des Dokuments spezifi- 
ziert; 

ein kunstliches Dokument bzw. synthetisches Do- 
kument der Kategorie wird entwickelt, das die An- 35 
zahl von Spalten und die Organisation bzw. der 
Aufbau aufweist; und 

die Dokument-Bilddatenbank wird nach Dokumen- 
ten durchsucht, die dem synthetischen bzw. kunstli- 
chen Dokument ahneln. 40 

21. Verfahren nach Anspruch 20, bei welchem der 
Suchschritt weiter folgendes aufweist: 

es wird nach Dokumenten gesucht, die eine Struk- 
tur aufweisen, die dem synthetischen Dokument 
bzw. kunstlichen Dokument ahnelt 45 

22. Dokumentenbild-Durchstdberungssystem, das 
folgendes aufweist: 

eine elektronische Speichereinheit, die eine Doku- 
ment-Bilddatenbank speichert; 

eine Anzeige, die Dokumenten- Bilder anzeigt; 50 
eine Prozessoreinheit bzw. Verarbeitungseinheit 
die mit der elektronischen Speichervorrichtung 
und der Anzeige gekoppelt ist bzw. verbunden ist, 
wobei die Verarbeitungseinheit funktionsfahig ist, 
um: 55 
ein Beispiel-Dokumentenbild zu entwickeln; 
eine Bildmerkmalsinformation uber das Beispiel- 
Dokumentenbild zu erhalten; und 
die Dokumenten-Bilddatenbank nach Dokument- 
Bildern zu durchsuchen, die dem Beispiel-Doku- 60 
•mentbild ahneln, wobei die Bildmerkmaiinforma- 
tion verwendet wird 

23. Software auf einem Speichermedium, die fol- 
gendes aufweist: 

Software zum Entwickeln eines Beispiel-Doku- 55 
mentbildes; 

Software zum Erhalten von Bildmerkmalinforma- 
tion uber das Beispiel-Dokumentbild; 




Software zum Durchsuchen der Dokument-Bildda- 
tenbank, indem die Bildmerkmalinformation ver- 
wendet wird; 

Software zum Anzeigen von Suchergebnissen der 
Suchsoftware; und 

Software zum Annehmen einer Benutzereingabe, 
die ein angezeigtes Suchergebnis als einen Schlus- 
sel fur eine weitere Suche auswahlt 

24. Software nach Anspruch 23, bei weicher die 
Entwicklungssoftware eine Software zum Anneh- 
men einer Benutzereingabe aufweist, die Charakte- 
ristiken des Beispiel-Dokumentbildes spezifiziert 

25. Software nach Anspruch 23, bei welchem die 
Entwicklungssoftware weiter die Software zum Ar- 
beiten eines graphischen Systems umfaBt wobei 
ein Benutzer Komponenten des Beispiel-Doku- 
mentbildes spezifiziert und anordnet 

26. Software nach Anspruch 23, bei welchem die 
Software zum Erhalten eine Software zum Extra- 
hieren eines Bildmerkmalvektors fur das Beispiel- 
Dokumentbild umfaBt 

27. Software nach Anspruch 26, bei welchem die 
Suchsoftware weiter Software zum Vergleichen 
des Bildmerkmalvektors fur das Beispiel-Doku- 
mentbild mit den Bildmerkmalvektoren von Doku- 
ment-Bildern in der Datenbank aufweist 

28. Software nach Anspruch 27, die weiter Software 
zum Annehmen einer Benutzereingabe aufweist 
die einen Suchtextstring spezifiziert und wobei die 
Suchsoftware weiter eine Software zum Verglei-. 
chen des Suchtextstrings mit OCR-Daten aufweist 
die den Dokumentbildern in der Datenbank zuge- 
ordnetsind. 

29. Verfahren zum Anzeigen von Bildern von Do- 
kumenten mit mehreren Seiten, das folgende 
Schritte aufweist: 

Bildmerkmalinformation von Bildern von Seiten 
von Dokumenten wird verglichen; 
Seiten mit einem ahnlichen Erscheinungsbild wer- 
den basierend auf der Bildmerkmalinformation 
identifiziert; und Seiten mit einem ahnlichen Er- 
scheinungsbild werden ubereinander mit einem 
Versatz zwischen ihnen uberlagert angezeigt 
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